The security of artificial intelligence (AI) is an important research area towards safe, reliable, and trustworthy AI systems. To accelerate the research on AI security, the Artificial Intelligence Security Competition (AISC) was organized by the Zhongguancun Laboratory, China Industrial Control Systems Cyber Emergency Response Team, Institute for Artificial Intelligence, Tsinghua University, and RealAI as part of the Zhongguancun International Frontier Technology Innovation Competition (https://www.zgc-aisc.com/en). The competition consists of three tracks, including Deepfake Security Competition, Autonomous Driving Security Competition, and Face Recognition Security Competition. This report will introduce the competition rules of these three tracks and the solutions of top-ranking teams in each track.
translated by 谷歌翻译
故事结束一代旨在为给定的故事背景产生合理的结局。该领域的大多数现有研究都集中在产生连贯或多元化的故事结尾,而他们忽略了不同的角色可能会导致给定故事的不同结局。在本文中,我们提出了一个面向角色的故事结束生成器(Coseg),以自定义故事中每个角色的结局。具体来说,我们首先提出一个角色建模模块,以从故事背景中提取的描述性经历中学习角色的个性。然后,受到化学反应中离子交换机制的启发,我们设计了一个新颖的矢量断裂/形成模块,以通过类似信息交换程序来学习每个字符和相应上下文之间的固有相互作用。最后,我们利用注意力机制学习有效的特定角色相互作用,并将每种相互作用馈送到解码器中,以生成角色 - 与角色的结尾。广泛的实验结果和案例研究表明,与最先进的方法相比,Coseg在生成的结局质量方面取得了重大改善,并且有效地自定义了不同字符的结局。
translated by 谷歌翻译
联合学习(FL)在中央服务器的帮助下支持多个客户的全球机器学习模型的分布式培训。每个客户端持有的本地数据集从未在FL中交换,因此保护本地数据集隐私受到保护。尽管FL越来越流行,但不同客户的数据异质性导致客户模型漂移问题,并导致模型性能降级和模型公平不佳。为了解决这个问题,我们在本文中使用全球本地知识融合(FEDKF)计划设计联合学习。 FEDKF中的关键思想是让服务器返回每个训练回合中的全局知识,以与本地知识融合,以便可以将本地模型正规化为全球最佳选择。因此,可以缓解客户模型漂移问题。在FEDKF中,我们首先提出了支持精确的全球知识表示形式的主动模型聚合技术。然后,我们提出了一种无数据的知识蒸馏(KD)方法,以促进KD从全局模型到本地模型,而本地模型仍然可以同时学习本地知识(嵌入本地数据集中),从而实现了全局 - 本地知识融合过程。理论分析和密集实验表明,FEDKF同时实现高模型性能,高公平性和隐私性。纸质审查后,项目源代码将在GitHub上发布。
translated by 谷歌翻译
对少量语义分割(FSS)的研究引起了极大的关注,目的是在查询图像中仅给出目标类别的少数注释的支持图像。这项具有挑战性的任务的关键是通过利用查询和支持图像之间的细粒度相关性来充分利用支持图像中的信息。但是,大多数现有方法要么将支持信息压缩为几个班级原型,要么在像素级别上使用的部分支持信息(例如,唯一的前景),从而导致不可忽略的信息损失。在本文中,我们提出了密集的像素,互源和支持的注意力加权面膜聚合(DCAMA),其中前景和背景支持信息都是通过配对查询和支持特征之间的多级像素的相关性通过多级像素的相关性充分利用的。 DCAMA在变压器体系结构中以缩放点产生的关注实现,将每个查询像素视为令牌,计算其与所有支持像素的相似之处,并预测其分割标签是所有支持像素标签的添加剂聚集 - 相似之处。基于DCAMA的唯一公式,我们进一步提出了对N-shot分割的有效有效的一通推断,其中所有支持图像的像素立即为掩模聚集收集。实验表明,我们的DCAMA在Pascal-5i,Coco-20i和FSS-1000的标准FSS基准上显着提高了最先进的状态以前的最佳记录。烧烤研究还验证了设计dcama。
translated by 谷歌翻译
最近,已广泛研究了基于深度学习的方法,以进行可变形的图像注册任务。但是,大多数努力将复合图像表示形式直接映射到通过卷积神经网络的空间转换,而忽略了其捕获空间对应关系的有限能力。另一方面,变压器可以更好地表征与注意机制的空间关系,其远程依赖性可能对注册任务有害,在这种情况下,距离太大的体素不太可能是相应的对。在这项研究中,我们提出了一个新型的变形器模块,以及用于可变形图像配准任务的多尺度框架。变形器模块旨在通过将位移矢量预测作为几个碱基的加权总和来促进从图像表示到空间转换的映射。借助多尺度框架以粗略的方式预测位移字段,与传统和基于学习的方法相比,可以实现卓越的性能。进行了两个公共数据集的全面实验,以证明所提出的变形器模块以及多规模框架的有效性。
translated by 谷歌翻译
基于传感器的环境感知是自主驾驶系统的关键步骤,多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机,现有方法通常是先校准相机的固有,然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果,则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法,因此在实际校准中,由于摄像机内在参数的微小误差,外部参数校准的准确性通常会降低。为此,我们提出了一种新型的基于目标的关节校准方法,用于摄像机内在和激光摄像机外部参数。首先,我们设计了一个新颖的校准板图案,在棋盘上增加了四个圆形孔,以定位激光姿势。随后,在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数,失真因子和激光相机外部外部参数。最后,定量和定性实验是在实际和模拟环境中进行的,结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。
translated by 谷歌翻译
现实世界图像超分辨率(SR)的关键挑战是在低分辨率(LR)图像中恢复具有复杂未知降解(例如,下采样,噪声和压缩)的缺失细节。大多数以前的作品还原图像空间中的此类缺失细节。为了应对自然图像的高度多样性,他们要么依靠难以训练和容易训练和伪影的不稳定的甘体,要么诉诸于通常不可用的高分辨率(HR)图像中的明确参考。在这项工作中,我们提出了匹配SR(FEMASR)的功能,该功能在更紧凑的特征空间中恢复了现实的HR图像。与图像空间方法不同,我们的FEMASR通过将扭曲的LR图像{\ IT特征}与我们预读的HR先验中的无失真性HR对应物匹配来恢复HR图像,并解码匹配的功能以获得现实的HR图像。具体而言,我们的人力资源先验包含一个离散的特征代码簿及其相关的解码器,它们在使用量化的生成对抗网络(VQGAN)的HR图像上预估计。值得注意的是,我们在VQGAN中结合了一种新型的语义正则化,以提高重建图像的质量。对于功能匹配,我们首先提取由LR编码器组成的LR编码器的LR功能,然后遵循简单的最近邻居策略,将其与预读的代码簿匹配。特别是,我们为LR编码器配备了与解码器的残留快捷方式连接,这对于优化功能匹配损耗至关重要,还有助于补充可能的功能匹配错误。实验结果表明,我们的方法比以前的方法产生更现实的HR图像。代码以\ url {https://github.com/chaofengc/femasr}发布。
translated by 谷歌翻译
高效的视频架构是在具有有限计算资源的设备上部署视频识别系统的关键。不幸的是,现有的视频架构通常是计算密集的,不适合这些应用。最近的X3D工作通过沿着多个轴扩展手工制作的图像架构,介绍了一系列高效的视频模型系列,例如空间,时间,宽度和深度。虽然在概念上的大空间中操作,但x3d一次搜索一个轴,并且仅探索了一组总共30个架构,这不足以探索空间。本文绕过了现有的2D架构,并直接搜索了一个细粒度空间中的3D架构,其中共同搜索了块类型,滤波器编号,扩展比和注意力块。采用概率性神经结构搜索方法来有效地搜索如此大的空间。动力学和某事物的评估 - 某事-V2基准确认我们的AutoX3D模型在类似的拖鞋中的准确性高达1.3%的准确性优于现有的模型,并在达到类似的性能时降低计算成本高达X1.74。
translated by 谷歌翻译
联合学习(FL)使一组客户能够在集中式服务器的帮助下共同列车机器学习模型。客户端不需要在培训期间向服务器提交本地数据,因此保护客户的本地培训数据受到保护。在FL中,分布式客户端独立收集其本地数据,因此每个客户端的数据集可以自然地形成不同的源域。在实践中,在多个源域培训的模型可能对看不见的目标域具有较差的泛化性能。为了解决这个问题,我们提出了FedAdg以用域泛化能力装备联合学习。 FedAdg采用联合的对冲学习方法来测量并对准不同源域之间的分布,并通过将每个分发与参考分布匹配。协同分布被自适应地生成(通过容纳所有源极域)以最小化对齐期间的域移位距离。在FEDADG中,对准是细粒度,因为每个类独立对齐。以这种方式,学习的特征表示应该是普遍的,因此它可以在看不见的域中概括很好。关于各种数据集的广泛实验表明,即使它们具有允许集中数据访问的额外优势,FedAdg也具有比主要的大多数解决方案更好的性能。为了支持研究重现性,项目代码可在https://github.com/wzml/fedadg中获得
translated by 谷歌翻译
This work targets designing a principled and unified training-free framework for Neural Architecture Search (NAS), with high performance, low cost, and in-depth interpretation. NAS has been explosively studied to automate the discovery of top-performer neural networks, but suffers from heavy resource consumption and often incurs search bias due to truncated training or approximations. Recent NAS works start to explore indicators that can predict a network's performance without training. However, they either leveraged limited properties of deep networks, or the benefits of their training-free indicators are not applied to more extensive search methods. By rigorous correlation analysis, we present a unified framework to understand and accelerate NAS, by disentangling "TEG" characteristics of searched networks - Trainability, Expressivity, Generalization - all assessed in a training-free manner. The TEG indicators could be scaled up and integrated with various NAS search methods, including both supernet and single-path approaches. Extensive studies validate the effective and efficient guidance from our TEG-NAS framework, leading to both improved search accuracy and over 56% reduction in search time cost. Moreover, we visualize search trajectories on three landscapes of "TEG" characteristics, observing that while a good local minimum is easier to find on NAS-Bench-201 given its simple topology, balancing "TEG" characteristics is much harder on the DARTS search space due to its complex landscape geometry. Our code is available at https://github.com/VITA-Group/TEGNAS.
translated by 谷歌翻译